Hồ cầm hiện nay có xuất xứ từ Ấn Độ và vùng Trung Á, được du nhập vào Trung Quốc từ thế kỷ I đến thế kỷ III sau công nguyên từ người Hồ (tên gọi được người Hán dùng để chỉ các dân tộc sinh sống tại vùng giáp giới giữa tây bắc Trung Quốc với các nước Trung Á) trong thời kỳ thịnh đạt của "Con đường tơ lụa". Vì vậy nên người Trung Quốc gọi nó là Hồ cầm (đàn của người Hồ). Người Việt Nam gọi theo ngôn ngữ của mình là đàn hồ. Ban đầu, nó là nhạc cụ của những người du mục, được dùng trong sinh hoạt văn nghệ dân gian và trong các cuộc tế lễ.Các Erhu có thể được truy trở lại công cụ proto-Mongolic lần đầu tiên xuất hiện trong Trung Quốc trong suốt triều đại nhà Đường. Nó được cho là đã tiến hóa từ Hề cầm(奚琴). Hề cầm được cho là có nguồn gốc từ người Xi nằm ở phía đông bắc Trung Quốc hiện tại.

Đầu tiên chữ Hán của tên của các nhạc cụ (二, er, hai) được cho là xuất phát từ thực tế là nó có hai dây. Một lời giải thích khác nói rằng nó xuất phát từ thực tế rằng nó là huqin cao thứ hai trong sân cho gaohu trong dàn nhạc hiện đại của Trung Quốc. Ký tự thứ hai (胡, Bính âm: hú) chỉ ra rằng đó là một thành viên của họ hàng hồ cầm, với từ Hồ thường có nghĩa là man rợ. Tên gọi của hồ cầm có nghĩa đen là "công cụ của các dân tộc Hồ", Cho thấy nhạc cụ này có thể có nguồn gốc từ các khu vực ở phía bắc hoặc phía tây của Trung Quốc thường có người dân du mục cư trú ở các bộ tộc của các vương quốc Trung Quốc trong quá khứ.

Hiện nay, hồ cầm có mặt trong hầu hết các dàn nhạc dân tộc cổ truyền Trung Hoa, Việt Nam, Triều Tiên, Hàn Quốc, Đài Loan. Loại đàn này cũng có mặt ở Ấn Độ, Miến Điện, Thái Lan, Campuchia, Indonesia, Thổ Nhĩ Kỳ, một số nước khu vực Tây Á và Kavkaz. Loại nhạc cụ này dần dần được bản địa hóa. Không chỉ người Kinh mà các dân tộc khác ở Việt Nam cũng chế tác đàn hồ cho mình. Ngày nay, đàn hồ có mặt ở hầu hết các dàn nhạc cổ truyền dân tộc Việt Nam. Trong dân gian Việt Nam thời cổ, có một loại đàn giống với đàn này, được gọi là Đàn gáo (có bầu đàn giống cái gáo, mặt đàn bằng gỗ mỏng). Do cấu tạo và tính năng tương tự, nó được coi như một họ hàng của hồ cầm.